2019년 컴퓨터종합학술대회
Current Result Document :
| 한글제목(Korean Title) |
FLASH: 많은 수의 뉴스 기사를 중복 제거할 수 있는 메모리-효율적이고 확장성 있는 방법 |
| 영문제목(English Title) |
FLASH: A Memory-Efficient, Scalable Scheme for Deduplicating a Large Number of News Articles |
| 저자(Author) |
차수진
이주영
김재성
서영균
Sujin Cha
Joo-Young Lee
Jaeseong Kim
Young-Kyoo
|
| 원문수록처(Citation) |
VOL 46 NO. 01 PP. 0097 ~ 0099 (2019. 06) |
한글내용
(Korean Abstract) |
우리는 뉴스 기사에 파묻혀 있다고 해도 과언이 아닌 만큼 많은 양의 뉴스 기사에 둘러싸여 있다. 하지만 기사 대부분은 서로 중복된 내용을 포함하고 있다. 뉴스 기사의 중복은 특정 사건에 대한 사용자의 관점을 획 일화 시킬 뿐만 아니라 문서 요약 시스템 같은 응용에 있어 중복 저장, 품질 저하 등의 성능 문제를 불러올 수 있다. 본 논문은 대량의 뉴스 기사에 대해 메모리 효율성과 확장성을 고려한 중복 제거 방법인 FLASH에 대해 논의한다. FLASH는 주어진 기사들을 먼저 군집화하고 이어 유사한 내용을 기반으로 문서 중복 제거를 수행한다. FLASH의 성능 평가 결과, 문서의 수가 증가할수록 메모리 사용량에 있어 기존의 알고리즘 대비 최소 약 8%로 매우 낮고 최대 22.2%의 중복 문서를 제거할 수 있는 것으로 나타났다. FLASH를 통해 대량의 뉴스 기사에 대해 메모리 효율적이면서 확장성 있는 문서 중복 제거가 가능할 것으로 기대된다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
